画像取り込み支援装置

专利摘要:
本発明は、画像取り込みを助ける装置（１）であって：取り込むべき画像の諸領域についての知覚的関心データを計算するのに好適な解析手段（２０）と、前記画像上に、前記画像内の少なくとも一つの関心領域の位置を示す少なくとも一つのグラフィック・インジケータを重畳するのに好適な表示手段（３０）とを有する装置に関する。本発明はまた、本発明に基づく画像の取り込みを助ける装置（１）を有する画像取り込み装置にも関する。
公开号:JP2011509003A
申请号:JP2010538693
申请日:2008-12-17
公开日:2011-03-17
发明作者:ギヨテル，フィリップ；シュヴェ，ジャン−クロード；ムール，オリヴィエ ル
申请人:トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ；
IPC主号:H04N5-225

专利说明:

[0001] 本発明は、概略的には画像解析の分野に関する。より詳細には、本発明は画像の取り込み（capture）を支援する装置およびかかる支援装置を有する画像取り込み装置に関する。]
背景技術

[0002] 現在、撮影技師があるシーンを撮影するとき、カメラのファインダーを介したシーンの直接観察のほかには、撮影しているシーンが正しくフレームに収められていることを保証する手段は、戻りチャネル（return channel）を使うことによるか、眼計測試験（oculometric tests）を使うことによるしかない。]
[0003] ファインダーを介したシーンの直接観察は必ずしも撮影技師がシーンを正しくフレームに収められるようにはしない。特に素速い動きの場合（たとえばスポーツ・シーン）はそうである。（たとえばパノラマ・ビューにおいて）シーンが多くの関心領域を含む場合、撮影技師にとって、どのようにシーンをフレームに収めるかを決定するのが難しいこともある。]
[0004] 戻りチャネルの使用は、たとえば、画像がうまくフレームを取っていないことをディレクターが撮影技師に知らせることができるようにする。しかしながら、そのような解決策は、瞬間的でないという意味で、満足いくものではない。]
[0005] かといって、眼計測試験は難しく、セットアップに時間がかかる。実際、観察者を表すパネルが配置される必要がある。さらに、これらの試験の結果は即時ではなく、長い解析段階を必要とする。]
発明が解決しようとする課題

[0006] 本発明の目的は、従来技術の少なくとも一つの欠点を正すことである。]
課題を解決するための手段

[0007] 本発明は、画像取り込みを助ける装置であって：
・取り込まれる必要のある画像の諸領域についての知覚的関心データを計算するのに好適な解析手段と；
・前記画像上に、前記画像内の少なくとも一つの関心領域の位置を示す少なくとも一つのグラフィック・インジケータをオーバーレイするのに好適な表示手段とを有する装置に関する。]
[0008] 本発明に基づく画像の取り込みを助ける装置は、撮影技師に撮影しているシーンについてのより多くの情報を供給することによって撮影を簡単にする。]
[0009] 本発明のある個別的な特徴によれば、解析手段は、画像の各ピクセルについて知覚的関心データの項目を計算するのに好適である。]
[0010] 本発明のある個別的な側面によれば、グラフィック・インジケータは、知覚的関心データが最高である画像のピクセルを中心とするような仕方で画像上にオーバーレイされる。]
[0011] 本発明のある個別的な特徴によれば、画像はピクセル・ブロックに分割され、解析手段は、画像の各ブロックについて知覚的関心データの項目を計算するのに好適である。]
[0012] 本発明のある個別的な側面によれば、グラフィック・インジケータは、知覚的関心データが所定の閾値より大きい少なくとも一つのブロックをポイントする矢印である。]
[0013] 有利には、表示手段はさらに、グラフィック・インジケータによってカバーされる画像領域に関連する知覚的関心の割合に従ってグラフィック・インジケータの少なくとも一つのパラメータを修正するのに好適である。]
[0014] ある実施形態によれば、知覚的関心の割合は、グラフィック・インジケータによってカバーされる画像のピクセルに関連する知覚的関心データの総和と、画像の全ピクセルに関連する知覚的関心データの総和との比に等しい。]
[0015] ある実施形態によれば、グラフィック・インジケータは、知覚的関心の割合に比例する太さをもつ円である。]
[0016] グラフィック・インジケータは：
・円、
・長方形、
・矢印および
・十字型
を含む群に属する。]
[0017] 本発明はまた、画像取り込み装置であって：
・先行する請求項の一つに記載された画像の取り込みを助ける装置と、
・本発明に基づく画像の取り込みを助ける装置によってグラフィック・インジケータが表示されるビューファインダーとを有する装置に関する。]
[0018] 本発明に基づく画像取り込み装置は、撮影技師が撮影中のシーンを正しくフレームに収めることを助ける。それは、グラフィック・インジケータによって、撮影される画像がシーンの関心領域の一つを中心とするようカメラをどのように位置付けるべきかを知らせることによる。]
[0019] ある個別的な実施形態によれば、画像取り込み装置は、第一の所定のフォーマットの画像を取り込むのに好適であり、グラフィック・インジケータは第一のフォーマットとは異なる第二の所定のフォーマットを定義する枠である。]
[0020] ある実施例によれば、第一のフォーマットおよび第二のフォーマットは：
・１６／９フォーマットおよび
・４／３フォーマット
からなる群に属する。]
[0021] 本発明は、付属の図面を参照しつつ、決して限定するものではない実施形態および実装例によってよりよく理解され、例解されるであろう。]
図面の簡単な説明

[0022] 本発明に基づく画像取り込み支援装置を示す図である。
知覚的関心データを計算する方法を示す図である。
それぞれが知覚的関心データの項目に関連する複数のピクセル・ブロックに分割された画像を示す図である。
矢印の形のグラフィック・インジケータが重ねられた画像を示す図である。
矢印の形の４つのグラフィック・インジケータが重ねられた画像を示す図である。
円の形の２つのグラフィック・インジケータが重ねられた画像を示す図である。
長方形の形の２つのグラフィック・インジケータが重ねられた画像を示す図である。
画像の顕著性（saliency）を表すヒート・マップが重ねられた画像を示す図である。
正方形の形の複数のグラフィック・インジケータおよびそれらの重心が重ねられた画像を示す図である。
本発明に基づく画像取り込み装置を示す図である。
１６／９フォーマットの画像と４／３フォーマットの枠の形のグラフィック・インジケータとを示す図である。
４／３フォーマットの画像と１９／９フォーマットの枠の形のグラフィック・インジケータとを示す図である。]
実施例

[0023] 図１は、本発明に基づく画像取り込み支援装置を示す図である。] 図１
[0024] 画像取り込み支援装置は、取り込まれる必要のある画像を解析するのに好適な解析モジュール２０を有する。より正確には、モジュール２０は画像の視覚的内容を解析して知覚的関心データ（perceptual interest data）を計算する。知覚的関心データ項目は、画像の各ピクセルについて、あるいは画像のピクセルのグループ、たとえばピクセル・ブロックについて計算できる。知覚的関心データは、有利には、画像内の関心領域、すなわち観察者の注目を引くゾーンを判別するために使用される。]
[0025] この目的のために、公開番号1695288のもとに2005年6月30日に公開された欧州特許EP04804828.4が、画像の各ピクセルについて、顕著性値としても知られる知覚的関心データ項目を計算するために使用できる。図２に示されるこの方法は、第一の空間的モデル化ステップおよびそれに続く時間的モデル化ステップからなる。] 図２
[0026] 空間的モデル化ステップは３つのステップE201、E202およびE203からなる。第一ステップE201の間に、入力画像データ（たとえばRGB成分）がフィルタ処理されて、画像を見る際に人間の視覚系が知覚するものに整合するようにする。実際、ステップE201は、人間の視覚系をモデル化するツールを実装する。これらのツールは、人間の視覚系が環境の種々の視覚成分を同じようには認識しないという事実を取り入れる。この感度が、コントラスト感度関数（CSF: Contrast Sensitivity Functions）の使用により、および成分内および成分間の視覚マスキングの使用により、シミュレートされる。より正確には、ステップE201の間に、視覚系の周波数タイリング（frequency tiling）をシミュレートする、図２でDCPと印される知覚的チャネルへの階層的な分解（hierarchic decomposition into perceptual channels）が、画像のRGB成分から演繹されるクラウスコプフ（Krauskopf）の反対色の空間の領域の成分（A,Cr1,Cr2）に適用される。周波数スペクトルから、ある動径周波数範囲およびある特定の角度選択性をもつサブバンドの組が定義される。各サブバンドは、実際には、特定の周波数および配向に反応する視覚細胞の集団（population）によって送達されるニューロン像であると考えることができる。CSF関数およびそれに続くマスキング操作が各サブバンドに適用される。次いで成分内および成分間の視覚的マスキング操作が実行される。] 図２
[0027] 第二ステップE202の間、ステップE201からのサブバンドが、ガウシアン差分（DoG: difference of Gaussians）の閉演算子（close operator）と畳み込みされる。E202ステップの目的は、視覚的な知覚機構をシミュレートすることである。この機構は、重要な情報（特に環境と対照をなす局所的な特異性）を含む視覚的特徴の抽出を可能にし、環境の経済的な表現の生成につながる。網膜だろうと皮質だろうと視覚細胞の受容野の編成は完全にこの要請を満たす。これらの細胞は円形であり、反対の応答をもつ中心および周によって構成される。皮質細胞も、優先される方向をもつ独自性（particularity）をもつ。この編成は、コントラストに対しては強く応答し、一様なゾーンに対しては応答しない性質を与える。この種の細胞のモデル化は、有向であるか否かによらず、ガウシアン差分（DoG）を介して実行される。知覚は、情報を解釈するのに本質的ないくつかの特徴を強調することも含む。ゲシュタルト学派の原理によれば、共線で、整列した、小曲率の輪郭を強めるために、DoG後にバタフライ・フィルタが適用される。第三ステップE203は、空間的顕著性マップを構築することからなる。この目的のため、先験的に独立な諸要素をグループ化またはリンクして脳によって理解可能な画像を形成することによって、種々の成分の融合が実行される。融合は、異なる視覚次元（無色または有色）によって担持される情報の相補性および冗長性を使うことを可能にする成分内および成分間競合（competition）に基づく。]
[0028] 三つのステップE204、E205およびE206に細分される時間的モデル化ステップは、次の観察に基づいている：アニメートされたコンテキストにおいて、動きのコントラストは最も著しい視覚的な誘引である。よって、固定した背景上で動くオブジェクトまたは逆に動く背景上で固定したオブジェクトは、視覚的に注意を引きつける。これらのコントラストを判別するため、目の動きの追跡の認識が重要である。こうした目の動きは、オブジェクトの動きが自然に補償されることを可能にする。したがって、網膜系において表現される、考えられる動きの速度はほとんどゼロである。したがって、最も有意な動きコントラストを判別するため、優勢であると想定されるカメラの固有の動きを補償することが必要である。この目的のため、ステップE204で、知覚的チャネルへの階層的分解に対して作用する動き推定器によって、ベクトル場が推定される。このベクトル場から、ステップE205で、M推定量（M-estimators）に基づく堅牢推定技法によって、優勢な動き（たとえば並進運動）を表す完全な洗練されたパラメトリック・モデルが推定される。したがって、網膜動きがステップE206で計算される。これは、局所的な動きと優勢な動きとの間の差に等しい。網膜動きが強いほど（ただし、目の動きの追跡の最大理論速度は考慮に入れる）、問題のゾーンは目を引きつける。次いで、網膜動きにまたは動きのコントラストに比例する時間的顕著性がこの網膜動きから推定される。固定した擾乱要素（または注意を逸らすもの）のうちで動いているオブジェクトを検出するほうがその逆よりも簡単であることから、網膜動きは、シーンの全体的な動き量によって変調される。]
[0029] ステップE207において、空間的および時間的顕著性マップが併合される。融合ステップE207は、マップ内およびマップ間競合機構を実装する。そのようなマップは、知覚的関心の高いゾーンを示すヒート・マップの形で呈示できる。]
[0030] しかしながら、本発明は、欧州特許EP04804828.4に記述される方法に限定されない。これは単に一つの実施形態である。画像内の知覚的関心データ（たとえば顕著性マップ）の計算を可能にするいかなる方法も好適である。たとえば、「A model of saliency-based visual attention for rapid scene analysis」と題し、1998年にIEEE trans. on PAMIに発表されたIttiらによる文書に記載される方法が、解析モジュール２０によって画像を解析するために使用できる。]
[0031] 画像取り込み支援装置１はさらに、解析モジュール２０によって解析された画像上に、その画像内の少なくとも一つの関心領域、すなわち高知覚的関心データ項目を有する領域の少なくとも一つのグラフィック・インジケータを重ねるのに好適な表示モジュール３０を有する。画像上でのこのグラフィック・インジケータの位置および可能性としてはその幾何学的特徴は、解析モジュール２０によって計算される知覚的関心データに依存する。このグラフィック・インジケータは、当該画像の、知覚的関心が高い少なくとも一つの領域の位置を示すような仕方で位置決めされる。ある変形例によれば、複数のグラフィック・インジケータが前記画像上に重ねられ、各グラフィック・インジケータは当該画像の、知覚的関心が高い一つの領域の位置を示す。]
[0032] 第一の実施形態によれば、グラフィック・インジケータは矢印である。矢印を画像内で位置決めするために、前記画像は重ならないN個のピクセル・ブロックに分割される。図３に示されるようにN＝16とすると、知覚的関心データ項目が各ブロックについて計算される。ある実施形態によれば、知覚的関心データ項目は、問題のブロックの各ピクセルに関連付けられた知覚的関心データの総和である。ある変形例によれば、そのブロックに関連付けられた知覚的関心データ項目は、問題のブロックの知覚的関心データの最大値に等しい。別の変形例によれば、そのブロックに関連付けられた知覚的関心データ項目は、問題のブロック内の知覚的関心データのメジアン値に等しい。知覚的関心データは、図３では、AからPまでの文字によって同定されている。このデータのいくつかの和が、所定の閾値THと比較され、画像上の矢印（単数または複数）の位置を決定する。ある実施形態によれば、次のアルゴリズムが適用される。] 図３
[0033] A+B+C+D＞THであれば、上向きの矢印グラフィック・インジケータが画像の下部に位置され、画像の上部、つまりブロックからなる第一行が知覚的関心の高い領域であることを示し、
A+E+I+M＞THであれば、左向きの矢印グラフィック・インジケータが画像の右側部に位置され、画像の左側部、つまりブロックからなる第一列が知覚的関心の高い領域であることを示し、
M+N+O+P＞THであれば、下向きの矢印グラフィック・インジケータが画像の上部に位置され、画像の下部、つまりブロックからなる最終行が知覚的関心の高い領域であることを示し、
D+H+L+P＞THであれば、図４に示されるように、右向きの矢印グラフィック・インジケータが画像の左側部に位置され、画像の右側部、つまりブロックからなる最終列が知覚的関心の高い領域であることを示し、
F+G+J+K＞THであれば、画像の中央が、画像の他の部分に比べて高い知覚的関心を有する。この場合、図５に示されるように、画像上に、画像の中央を向く４つの矢印が重ねられる。これら４つの矢印は、特定のグラフィック・インジケータ、たとえば画像の中央に位置される十字型によって置換できる。] 図４ 図５
[0034] しかしながら、画像のほとんど全体が高い知覚的関心を有する場合には、高い知覚的関心の領域をそのコンテキスト内に回復するようズームアウト操作を実行しなければならないことを撮影技師に指示することが有利である。この目的のために、画像から外側を向く４つの矢印が画像上に重ねられる。]
[0035] 別の実施形態によれば、グラフィック・インジケータは、図６に示される画像上に透明に示される可変サイズのディスクである。このグラフィック・インジケータは、最高の知覚的関心のデータ項目が関連付けられているピクセルを中心とするように画像内に位置決めされる。いくつかのグラフィック・インジケータが画像内に位置される場合、それらは最も高い知覚的関心のデータが関連付けられている諸ピクセルを中心とする。本発明のある個別的な特徴によれば、グラフィック・インジケータの少なくとも一つの特徴が、顕著性率（rate of saliency）とも呼ばれる知覚的関心の割合（rate of perceptual interest）に従って修正される。画像のある領域に関連付けられる顕著性率は、その領域に属するピクセルに関連付けられた知覚的関心データの総和を、画像全体のピクセルに関連付けられる知覚的関心データの総和で割ったものに等しい。よって、円の周の太さは、その円内の顕著性率に従って変調できる。円の太さが大きいほど、その円内の画像の領域は画像の他の部分に比べてより顕著である。図７に示されるもう一つの変形によれば、上記のディスクは可変サイズの長方形によって置換される。この場合、長方形の幅および／または長さは、顕著性カバー率（saliency coverage rate）に従って修正される。別の変形例によれば、グラフィック・インジケータは、図８に示されるように画像上に透明に示される顕著性マップを表すヒート・マップである。ヒート・マップの色が、知覚的関心データの局所的な値に依存して局所的に変化する。このヒート・マップは、顕著性マップの表現である。] 図６ 図７ 図８
[0036] 別の変形例によれば、グラフィック・インジケータは、所定のサイズの正方形である。たとえば、最も顕著な、すなわち高い潜在的関心のデータ項目をもつn個のピクセルが同定される。これらn個のピクセルの重心が計算される。ここで、これらのピクセルは、それぞれの知覚的関心データによって重み付けされる。次いで表示画像上で、重心上に中心が来るようにして正方形が位置される（図９のゴルファーの腹部に位置される薄い四角）。] 図９
[0037] 図１０を参照するに、本発明は、本発明に基づく画像取り込み支援装置１、ファインダー２および出力インターフェース４を有するデジタル・カメラのような画像取り込み装置３にも関係する。画像取り込み装置は、メモリ、データ転送用バスなどといった、図１０には示されない、当業者にはよく知られた他の構成要素を有する。画像取り込み装置３を使ってシーンが撮影される。撮影技師は、ファインダー２によってシーンを観察する。より具体的には、撮影技師は、画像取り込み支援装置１のモジュール１０によって解析される画像をファインダー２によって見る。次いで、画像取り込み支援装置１のモジュール２０は、ファインダー２によって表示される画像上に上乗せされる少なくとも一つのグラフィック・インジケータをファインダー２上に表示する。さらに、次いで、ファインダー２によって表示される画像が画像取り込み装置３によって取り込まれ、画像取り込み装置３内のメモリに記憶されるか、出力インターフェース４によってリモート記憶モジュールまたはリモート・アプリケーションに直接伝送される。] 図１０
[0038] ファインダー２上のそのようなグラフィック・インジケータの表示は、シーンを撮影する撮影技師が、撮影されるシーンの視覚的に重要な領域をファインダー２上に表示される画像において中心にするようカメラを動かすことを可能にする。図４では、右向きの矢印が画像の左側に位置されている。この矢印は、有利なことに、ゴルフ・シーンを撮影している撮影技師に、高い知覚的関心領域、つまりゴルファーが画像の右側に位置していることを知らせる。これは、撮影技師に、高い知覚的関心領域が撮影される画像の中央に来るようにするためにカメラを動かさなければならない仕方を知らせる。図５では、４つの矢印が、カメラマンに、ズームイン操作を実行しなければならないことを知らせる。] 図４ 図５
[0039] こうしたグラフィック・インジケータは有利なことに、撮影技師が、シーン内の高い知覚的関心領域が確実に、取り込まれる画像内に存在させることができるようにする。また、撮影技師が、これらの領域が確実に、取り込まれる画像の中央に来させることができるようにもする。さらに、グラフィック・インジケータのある種のパラメータを変調することによって、撮影技師が、複数の高い知覚的関心領域に対して、それぞれの顕著性率に従って階層性を与えることができるようにする。]
[0040] ある個別的な実施形態によれば、グラフィック・インジケータは、所定のサイズの枠である。本発明によれば、ファインダー２は、高い知覚的関心をもつ画像領域を中心とするよう画像上に重ねられる。グラフィック・インジケータは、有利には、図１１に示されるように、１６／９フォーマットの取り込まれた画像上に、４／３フォーマットの枠を表現するために使用される。４／３フォーマットの枠は撮影技師のための補助である。実際、撮影技師は、この追加的情報を使用して、画像取り込み装置によって取り込まれる１６／９フォーマットから生成される４／３フォーマットのフィルムが有意であるよう、すなわち、特に、シーン内の高い知覚的関心領域が４／３フォーマットの画像においても存在するよう、正しくシーンをフレームに収めることができる。このように、このグラフィック・インジケータは、１６／９フォーマットで取り込まれるビデオ・コンテンツがその後４／３フォーマットに変換されることを撮影技師が知っている場合に、撮影技師がショットを改善することを可能にする。逆に、図１２では、画像は４／３フォーマットで取り込まれ、画像上に上乗せされた１６／９フォーマットの枠がファインダー２上に表示されている。当然ながら、本発明は、１６／９および４／３フォーマットの場合だけに限定されるものではない。本発明は他のフォーマットにも適用できる。たとえば、撮影しているシーンがたとえばモバイル・ネットワーク上で放送されるためにその後１／１フォーマットに変換されなければならない場合には、４／３フォーマットの枠は１／１フォーマットの枠で置換できる。] 図１１ 図１２
[0041] もちろん、本発明は、上記で言及した実施例に限定されるものではない。特に、当業者は、記載された実施形態に対して任意の変形を適用したり、記載された実施形態を組み合わせたりして、それらの実施形態のさまざまな利点を享受してもよい。特に、たとえば楕円、平行四辺形、クロスなど、上述したインジケータ以外の任意のグラフィック・インジケータを使ってもよい。]
[0042] さらに、グラフィック・インジケータは、画像取り込み装置のファインダー上に表示される代わりに、画像取り込み装置の外部の制御画面上に重ね写しにして表示することもできる。]

权利要求:

請求項1
画像取り込みを助ける装置であって：・取り込まれる必要のある画像の諸領域についての知覚的関心データを計算するのに好適な解析手段と、・前記画像上に、前記画像内の、知覚的関心データが大きい少なくとも一つの関心領域の位置を示す少なくとも一つのグラフィック・インジケータを重畳するのに好適な表示手段とを有し、前記表示手段がさらに、前記少なくとも一つのグラフィック・インジケータの少なくとも一つのパラメータを、前記グラフィック・インジケータによってカバーされる画像領域に関連付けられた知覚的関心の割合に従って修正するのに好適であることを特徴とする、装置。
請求項2
前記解析手段が、前記画像の各ピクセルについて知覚的関心データを計算するのに好適である、請求項１記載の装置。
請求項3
前記グラフィック・インジケータが、前記画像の、知覚的関心データが最高であるピクセルを中心とするような仕方で前記画像上に重畳される、請求項２記載の装置。
請求項4
前記画像がピクセル・ブロックに分割され、前記解析手段が、前記画像の各ピクセルについて知覚的関心データを計算するのに好適である、請求項１記載の装置。
請求項5
前記グラフィック・インジケータが、知覚的関心データが所定の閾値より大きい少なくとも一つのブロックをポイントする矢印である、請求項４記載の装置。
請求項6
前記知覚的関心の割合は、前記グラフィック・インジケータによってカバーされる画像のピクセルに関連する知覚的関心データの総和と、前記画像の全ピクセルに関連する知覚的関心データの総和との比に等しい、請求項５記載の装置。
請求項7
前記グラフィック・インジケータは、前記知覚的関心の割合に比例する太さの円である、請求項５または６記載の装置。
請求項8
前記グラフィック・インジケータは、知覚的関心データの局所的な値に依存して局所的に変化する色をもつ透明なヒート・マップである、請求項１記載の装置。
請求項9
前記グラフィック・インジケータは：・円、・長方形、・矢印および・十字型を含む群に属する、請求項１記載の装置。
請求項10
・請求項１ないし９のうちいずれか一項記載の画像の取り込みを助ける装置と、・ビューファインダーとを有する画像取り込み装置であって：前記画像の取り込みを助ける装置によって前記グラフィック・インジケータが前記ビューファインダー上に表示される、装置。
請求項11
第一の所定のフォーマットの画像を取り込むのに好適である請求項１０記載の装置であって、前記グラフィック・インジケータが、前記第一のフォーマットとは異なる第二の所定のフォーマットを定義する枠である、装置。